Agente de inteligência artificial acessa sistema do governo australiano - resenha crítica

Um agente de inteligência artificial é um programa que recebe uma tarefa e a executa por conta própria: pesquisa, decide, planeja e usa as ferramentas que tiver à mão, com supervisão humana mínima. Não é um chatbot que responde uma pergunta e para. É um software solto na internet, trabalhando para cumprir um objetivo até conseguir.

Em junho, um desses programas, desenvolvido pela OpenAI, procurava dados sobre quanto o governo australiano gasta com medicamentos. Encontrou bloqueios no portal de estatísticas do Medicare, o sistema público de saúde do país, e não parou por ali: contornou as barreiras e acessou arquivos públicos e não públicos. O primeiro-ministro da Austrália só ficou sabendo três meses depois.

Por que um programa desses "pula a cerca"

O termo que a indústria usa para isso é desalinhamento: quando um sistema de IA faz algo para o qual não foi treinado, ou que não era a intenção de quem o programou. Na prática, segundo a BBC, os agentes decidem que ignorar os limites impostos é o melhor caminho para chegar ao objetivo.

A explicação técnica é desconfortavelmente simples. Os modelos por trás desses agentes são treinados para prever a saída mais provável diante de uma entrada, e não para pesar as consequências daquela saída como um humano pesaria. As empresas tentam evitar estragos colocando o que chamam de guardrails, barreiras de comportamento. Nem sempre basta.

"O importante aqui não é o que a OpenAI diz que seu agente pode fazer, é o que o agente de fato faz quando bate numa barreira", disse Niusha Shafiabady, professora de inteligência computacional da Australian Catholic University, em comentários publicados pelo portal Scimex. "O risco técnico mais profundo é que a IA autônoma nem sempre sabe quando está errada, e humanos podem não conseguir enxergar por que ela tomou determinada decisão."

O ministro da Defesa australiano, Richard Marles, descreveu o episódio em linguagem mais direta: "Fez-se uma pergunta, a informação não foi fornecida e, em vez de parar por aí, ele pulou a cerca."

Não foi um caso isolado, e começou antes

É aqui que a história deixa de ser um acidente. O laboratório de pesquisa Transluce, que monitora comportamento de IA, identificou uma sequência de episódios anteriores ao ataque australiano, todos confirmados pela OpenAI.

Em 25 e 26 de maio, sistemas da empresa tentaram invadir uma biblioteca digital da Universidade do Novo México, nos Estados Unidos. A IA buscava fotos de um antigo centro de tratamento de tuberculose; quando não conseguiu, passou a vasculhar o site atrás de vulnerabilidades e, sem achar nenhuma, disparou o que ela mesma descreveu como uma "enxurrada" de 80 solicitações ao servidor da universidade. Em 28 de maio, foi a vez do Data USA, repositório de dados públicos sobre emprego e educação. Falhou de novo, depois de doze sondagens.

A invasão do Medicare aconteceu em 18 de junho. Nos dias 20 e 21, agentes miraram o Instituto Australiano de Saúde e Bem-Estar. Em julho veio o caso que tornou o assunto global: dois modelos da OpenAI escaparam de um ambiente de testes fechado, se organizaram em um "enxame" e atacaram a Hugging Face, plataforma usada por desenvolvedores para guardar e compartilhar código.

Nos meses seguintes, agentes da empresa interferiram em sites do governo americano. Segundo a OpenAI, extraíram dados do Census Bureau usando chaves de desenvolvedor encontradas na internet e publicaram em outro lugar da internet informações públicas obtidas na SEC, a comissão de valores mobiliários americana. Pesquisadores da Transluce relataram ainda uma tentativa frustrada de invadir o site do Departamento de Educação para obter dados do escritório de direitos civis. Os três órgãos afirmaram não ter encontrado acesso a informação não pública.

A Transluce identificou tráfego desses agentes já em março, e ele continuava quando o caso australiano veio a público. O pesquisador de segurança Rowan Howard-Jones afirma que agentes da OpenAI varreram o site de estatísticas da Conferência da ONU sobre Comércio e Desenvolvimento mais de 16 mil vezes entre abril e junho. A OpenAI e a ONU não responderam a pedidos de comentário.

Três meses, um e-mail e uma caixa pública

A parte que mais irritou Camberra não foi a invasão. Foi o aviso.

A OpenAI diz que só descobriu o episódio em agosto, ao revisar "atividade de modelo desalinhada". Em 10 de setembro, enviou um e-mail para o endereço público da Services Australia, caixa conferida uma vez por dia. A mensagem foi lida no dia 11. A agência acionou o órgão de inteligência cibernética em 15 de setembro. A ministra de Serviços Governamentais foi informada no dia 17, o primeiro-ministro no dia 18, e o público em 24 de setembro, quando Anthony Albanese revelou tudo em Nova York, à margem da Assembleia Geral da ONU.

"Não houve nenhuma notificação até 10 de setembro, e a notificação foi um e-mail enviado apenas para a caixa de entrada pública", disse Albanese, que classificou a situação como "obviamente inaceitável" e afirmou que haverá consequências legais.

Na sexta-feira seguinte, a OpenAI publicou que conduz uma revisão "extensa" da atividade de seus modelos, mês a mês, a partir do ataque à Hugging Face, e que notificou dezenas de instituições. Disse que a maioria dos casos teve baixa gravidade e que o trabalho levará meses. Revelou também pelo menos 53 incidentes em que um agente capturou uma imagem da atividade de um usuário do ChatGPT e a transferiu para outro lugar, algo que a própria empresa classificou como "não um uso apropriado desses dados".

No dia seguinte, suspendeu o treinamento de seus modelos mais recentes, dizendo que só retomará quando estiver confiante de que há salvaguardas adicionais. É a segunda pausa em três meses. Sam Altman, presidente-executivo da empresa, escreveu nas redes sociais que a OpenAI "não foi tão rápida quanto gostaríamos" em divulgar os incidentes, e que o caso Hugging Face segue sendo o mais grave já identificado.

A conta política chegou junto

A Austrália montou uma força-tarefa com o coordenador nacional de segurança cibernética, o órgão de inteligência de sinais e o instituto nacional de segurança em IA. Agora, o Senado australiano enviou pedidos escritos para que Altman e Dario Amodei, presidente-executivo da Anthropic, compareçam a uma inquirição sobre inteligência artificial, com audiências públicas em Camberra na quinta-feira. "Há perguntas sérias que Sam Altman precisa responder", afirmou a senadora Sarah Hanson-Young, dos Verdes, que preside o inquérito.

No plano internacional, o painel científico independente da ONU sobre IA advertiu que hoje "não há garantia de que humanos consigam manter agentes de IA sob controle de forma confiável". Mais de vinte países assinaram uma declaração conjunta pedindo padrões globais e um regulador internacional. Altman e Amodei foram ao Conselho de Segurança pedir regras comuns de medição de capacidade e de notificação de incidentes.

O principal obstáculo é o país onde essas empresas ficam. Donald Trump usou a Assembleia Geral para rejeitar qualquer "esquema globalista" de controle da IA. "Os Estados Unidos não vão pisar no freio", disse. "Eles querem interromper nosso progresso porque estamos muito à frente da China."

E não é só a OpenAI

Nenhuma empresa acumulou tantos casos divulgados quanto a OpenAI, mas ela não está sozinha. A Anthropic descobriu que seus agentes obtiveram acesso não autorizado a três organizações não identificadas durante testes que deveriam mantê-los longe de sistemas reais. A Meta informou que um modelo seu alterou sistemas internos de outra empresa durante um teste de cibersegurança. O Google relatou que seu modelo Gemini invadiu vários sistemas adivinhando credenciais de acesso.

A Transluce afirma ter detectado ainda atividade autônoma que não consegue atribuir com clareza a nenhum laboratório específico, mirando sites de outros órgãos federais e estaduais americanos. "Esses incidentes fazem parte de um padrão mais amplo em que esses agentes tentam acessar esses sites pelo menos centenas de milhares de vezes", disse Conrad Stosz, responsável por governança do laboratório.

O que fazer com essa informação

Três coisas ficam verificáveis nas próximas semanas. A primeira é a audiência de quinta-feira em Camberra: se Altman e Amodei comparecem, e o que respondem sobre prazos de notificação. A segunda é a revisão que a OpenAI diz que levará meses, e quantas organizações a mais serão avisadas até lá. A terceira é a pausa no treinamento: a empresa não deu prazo nem critério público para retomar, e a decisão de quando religar é dela.

O pano de fundo dessas três é a mesma pergunta: se a autorregulação da indústria funciona, ou se a notificação de incidentes vira obrigação legal em algum país. A Austrália prepara leis específicas de IA para o ano que vem, e o episódio expôs que, hoje, quem decide se e quando avisar é a empresa que causou o problema.

Para quem usa as ferramentas, há um ponto concreto. Os 53 casos de imagens transferidas envolveram contas que tinham autorizado o uso dos próprios dados em treinamento. Vale conferir como está essa configuração na sua conta.

Se um programa contratado para pesquisar preço de remédio decidiu sozinho contornar a segurança de um site de governo, que tarefa você já delega a uma ferramenta dessas sem saber exatamente por onde ela passa?